ClawLoop：基于 Harness 原生训练闭环的自改进 Agent 框架
🧭 自改进 Agent 训练闭环 · Harness 原生任务合成 ★ 深度解读
Meituan · Peking University
无外部教师模型下，通过任务合成-训练-诊断闭环实现 harness agent 自改进，并迁移到小模型
📌 工作参考价值（4 点）
- 任务合成用可执行 generator 直接产出环境、答案 key 和 answer contract，避免让 LLM 直接生成答案；电商/搜索场景构造模拟任务（订单聚合、库存核对、报表生成）时可借鉴“生成代码而非标签”，把隐含业务规则写成 skill/contract 文件，确保 reward 可验证且不泄漏。
- SFT 阶段只对 agent action token 计算 loss，mask 掉环境观察 token；多轮 agent 训练中商品详情、日志、工具输出往往很长，不做 mask 会主导梯度，这个 trick 可直接复用。
- RL 用 GRPO 时引入 admission band [N_l, N_h] 只保留当前策略通过率居中的任务，太难或太易都不产生 advantage；推荐/对话策略的自我博弈或课程学习可以按通过率过滤样本，动态保持训练信号密度。
- 诊断反馈闭环：让模型自己总结失败轨迹并聚合 failure patterns，驱动下一轮任务生成；可用于 query 改写、Agent 规划失败归因，自动生成针对性补强数据，不依赖人工分析。
SLCA-GRPO：解决工具调用强化学习中的跨段信用错配
🧭 工具调用 RL · 分段信用分配 ★ 深度解读
Peking University · Shenzhen University · Tencent PCG QQ Team
将工具段与总结段优势解耦路由，从结构上阻断 summary 奖励对工具 token 的梯度泄漏
📌 工作参考价值（4 点）
- 在工具调用 agent 的 RL 训练中，若总 reward 同时包含工具执行质量与最终回答质量，标准 GRPO 的统一 advantage 会把 summary 噪声传到 tool token。可将轨迹按 token mask 自动分为工具段与总结段，分别做组内 z-score 并只路由到对应 token；几乎零额外成本，适合电商客服、订单查询等多 API 场景。
- 用 Schema-Guided LLM Simulator 替代真实 API 做 RL 探索：schema 校验给出确定性错误反馈，跨模型 LLM mock 生成合理响应，降低真实 API 成本与不稳定；这可以作为离线 RL 基础设施，尤其适合工具 namespace 大的 MCP 生态。
- 设计 process reward 建议拆成格式、工具名 F1、参数 key/value、并行度等子项（HierR），而不是单一稀疏信号；对要求低工具冗余的业务，可用类似 Success@阈值 指标优化平均工具轮数。
- 当模型该调工具却不调时，将 omission penalty 只路由到 summary 段，避免污染工具段，比在总 reward 上全局扣分更稳定。
AgentMercury：从业务场景大规模合成可验证可执行环境
🧭 业务场景可执行环境合成 · 策略强化学习 ★ 深度解读
Meridian Intelligence Global Inc. · University of Massachusetts Amherst
提出从高层业务场景自动合成可执行世界，作为策略强化学习训练基底，并证明环境构建本身可学习
📌 工作参考价值（4 点）
- 场景驱动仿真生成：在电商/广告 Agent 业务中，不要围绕特定任务或评测集手工搭建环境，而是从业务流程（订单、库存、营销、客服、履约）生成多服务、有状态、带跨服务约束的可执行环境，让任务自然涌现。这样一套环境可支撑多个任务和多种策略训练，复用性远高于 task-centric 仿真。
- 将业务不变量与状态转移解耦：把跨服务约束（如支付成功后必须生成发货单、推荐展示后必须同步库存）做成 episode 结束时的 SQL/确定性 verifier，而不是在模拟器中自动满足。训练 agent 主动发现并满足这些约束，能提升策略在真实业务流程中的可靠性和一致性。
- 用合成业务环境做 RL 预训练/继续训练：AgentMercury 的实验显示，在多样化的业务工具环境上做 GRPO/SAO 训练，即使不针对下游评测集，也能提升 tool-use、推理、代码等能力，并显著降低工具调用轨迹的方差。电商 Agent 团队可以批量生成带真实工具调用、状态追踪、多步交互的环境，作为通用能力底座。
- 把环境构建本身做成可学习任务：收集从业务 brief 到可执行世界的构建 trace（中间 schema、服务图、validator 修复），对模型做 SFT，让模型从需求描述直接生成可执行仿真。这能大幅加速新业务场景的环境覆盖，并让非技术业务方参与环境定义。
潜在在线策略自蒸馏
🧭 LLM Agent 在线策略自蒸馏训练 ★ 深度解读
National University of Singapore · Beijing University of Posts and Telecommunications · Shanghai Jiao Tong University
让 OPSD 的特权上下文从手工设计变为可学习的潜在表示，联合蒸馏提升 agent 与代码策略，样本效率显著优于 GRPO/Skill-SD
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 训练中，可将历史成功会话（用户目标+操作序列+结果）检索并压缩成 latent tokens 条件化 teacher，让学生从自己的 rollout 中稠密学习，避免人工写死“成功策略/提示模板”；线上推理只保留学生，不增加延迟。
- 使用 on-policy self-distillation 时必须加 privileged-margin 约束，否则 teacher 会退化到 student，联合训练效果反而比冻结 composer 更差；可用结果奖励（如转化/点击）加权 per-token advantage，margin 建议设在 0.05 左右。
- latent context 注入生产推理引擎不必改底层 embedding，用 placeholder sentinel + dummy token ids 即可兼容 vLLM/SGLang；训练后 composer 和检索索引可以完全离线。
- 在 RLVR 采样预算有限（如每天 1-2k 条 rollout）且需要快速策略迭代的推荐/广告 Agent 场景，latent-teacher 稠密监督比纯 GRPO 样本效率高很多，可作为内部训练组件复用。
HindSearch：轨迹级后见批评提升搜索增强RL
🧭 后见批评 · 搜索增强强化学习 ★ 深度解读
Santa Clara University · Rochester Institute of Technology · Independent Researcher
利用黄金答案生成失败轨迹的指令性批评，通过on-policy distillation使搜索RL获得密集信号，平均EM提升至39.4%
📌 工作参考价值（4 点）
- 训练搜索型Agent时可复用：电商搜索、推荐对话等场景可将最终正确答案（如成交商品）作为后见，让冻结裁判生成“本应搜索什么”的批评，转化为密集训练信号，缓解稀疏奖励下信用分配困难。
- 简单可插拔的密集奖励方案：直接在GRPO上叠加一个OPD损失，只作用于搜索动作token，无需训练过程奖励模型，额外计算开销仅在训练时、只在失败轨迹上（约15% wall-clock），推理时零成本。
- 批评生成技巧：用强大但冻结的裁判LLM，输入完整轨迹+正确答案，输出1-2句具体指令（“应该查询导演名而非演员表”），广播到所有搜索步作为hint前缀；使用同尺寸学生模型作为教师，避免教师过大导致KL崩塌。
- 可迁移结论：后见批评带来的提升同等覆盖训练域内和零样本任务（+5.85pp vs +5.80pp），表明学到的搜索策略是通用的，适用于新场景快速泛化。
NexForge：通过需求驱动任务合成扩展 LLM 智能体能力
🧭 需求驱动的 Agent 训练数据合成
East China Normal University · Fudan University · Shanghai Qiji Zhifeng Co., Ltd
提出需求驱动的任务合成框架 NexForge，自动生成多样化可执行 agent 训练数据，显著提升 LLM agent 性能
📌 工作参考价值（4 点）
- 借鉴需求驱动思想，根据业务能力需求（如“自动处理退换货”“批量更新商品库存”）自动生成多样化的终端/办公任务，用于微调内部 Agent 模型，降低人工构造成本
- 采用分布感知编译（基于真实需求日志构建情景和任务概况），使训练数据分布更贴近线上实际，减少偏差，可应用于电商搜索广告 Agent 的训练数据生成
- 框架不依赖领域特定基建，可快速跨场景迁移，例如从终端操作扩展到电商后台、广告投放工具等新工具领域，降低工程门槛
- 利用合成的高质量专家轨迹进行 SFT，验证了数据规模和多样性对提升 Agent 任务成功率的重要性，启示我们可通过自动化管线持续扩展 Agent 能力边界